目标与范围

本 PR 只优化 NPU MTP speculative decoding 中 final draft 完成到 target verification graph 启动 的边界。

• 基线：最新 main@abe92b83f
• 当前 head：26abdf093
• 包含：draft → target 的静态准备重叠、graph 内输入更新和有限宽度 TileLang specialization
• 不包含：PR perf: eliminate validate-to-draft bubbles with asynchronous device-side handoff. #1966 的 target validation → next draft 预启动优化
• 不修改：DFlash 的 PD 分离流程、非 NPU 后端和普通非 MTP decode 流程

这样拆分后，本 PR 的性能归因和评审范围都只对应一个 pipeline 边界。

问题

优化前，最后一个 draft token 已经生成后，target graph 仍要串行等待 host 完成：

1. verify token 拼装及 dtype 转换；
2. positions、KV lengths、slots、block table 和 linear-state metadata 更新；
3. expanded paged-attention tiling 更新；
4. ACL graph task 更新与 replay 提交。

这些工作位于 final draft → target 的关键路径上，形成 host dispatch 空泡。

实现

1. 提前准备可静态确定的 target graph task

在 final draft 执行期间准备与最终 token 无关的 target graph task，并为动态输入保留稳定地址。final draft 完成后只保留真实的数据依赖，不再重新构建整套 target 输入。

2. 在 target graph 开头融合动态输入更新

新增三个 TileLang kernel family：

• spec_verify_token_update：写入 base token 与各 draft token；
• spec_verify_metadata_update：更新 positions、KV lengths、slots、block table、linear state 等 persistent metadata；
• spec_verify_attention_tiling_update：更新 expanded paged-attention 的动态 tiling 字段。

三类更新被 target graph 捕获，避免 replay 前额外的 graph-external D2D、同步 memcpy 或 ATB Setup。

3. 用模型能力契约替代模型名硬编码

新增 SpeculativeVerifyCapabilities：

• requires_causal_chunked_prefill
• supports_in_graph_input_update

MTP runtime 只查询能力，不再判断 qwen3_5、mimo 等模型字符串。能力在 target model 加载时缓存，decode 热路径不重复执行虚调用或字符串匹配。

• Qwen3.5 hybrid：需要 causal chunked-prefill，并支持当前 expanded-attention/linear-state graph 输入布局；
• MiMo：需要 causal chunked-prefill，但不进入当前 graph input update 快路径；
• 其他模型：默认关闭，继续使用原有保守路径；后续模型适配只需在模型层声明并验证能力。

4. MTP3、MTP4、MTP5 使用同一条快路径

框架控制流不再写死 depth == 5 或 verify width == 6。TileLang 针对当前已验证的有限硬件形状生成：

其他深度、multi-sequence、地址不稳定或布局不满足要求时自动回退到原路径。本 PR 不宣称支持任意 speculative depth 或 MTP8。

代码规模

相对 main@abe92b83f：

• 32 个文件；+2587/-142
• production：+2123/-139
• tests：+464/-3

主要分布：

batch_test.cpp 中另有 +3/-3 的 latest-main 测试 API 迁移，只用于保持该已有测试可编译，不影响 runtime。

提交拆分

提交按依赖顺序组织，reviewer 可以逐层检查：

每个提交只承担一个评审主题。拆分前后的 Git tree 均为 d0de856c31eb106821900bca929ba2774e9fd900，因此本次历史整理没有改变任何最终源码内容。

性能证据

main 与 #1962 语义版本

固定条件：Qwen3.5-2B、target TP2、draft body TP1、MTP5、NPU 14/15；ACL graph、schedule overlap、chunked prefill 开启；固定输入集，输出 25 tokens；warmup 8 后执行 20 requests × 3 rounds，共 60/60 成功请求。

accepted/draft 均为 1617/2610，输出内容及 token usage 一致。

这里的约 148.73 ms 是 #1962 单独能力的可归因结果。约 145.9 ms 的历史结果来自 #1962 与 #1966 组合版本，不作为本 PR 的单独收益声明。

通用化重构开销

在固定 Qwen3.5-2B、TP2、MTP5 workload 上做过 A-B-A 重构前后测试：TPOT -0.0278%、25-token E2E +0.0081%、吞吐 -0.0084%，均小于 0.04% 且低于 2% 回退门槛。

该测试来自通用化开发 lane，属于强支持证据；在 PR 从 Draft 切换为 Ready 前，仍会对当前精确 head 26abdf093 补做 main/MTP3/MTP4/MTP5 同合同正式 A/B，不把旧 lineage 的绝对数冒充为当前 head 数据。

当前 head 验证

• git diff --check：通过；
• 三个 TileLang kernel family 强制生成：通过；
• 本次改动涉及的 runtime、model registry、ACL graph 和 TileLang wrapper production translation units：编译通过；
• spec_verify_token_update_wrapper_test：4/4 通过；
• spec_verify_metadata_update_wrapper_test：3/3 通过；
• spec_verify_attention_tiling_update_wrapper_test：2/2 通过；
• NPU TileLang 单测合计：9/9 通过。

回退边界

以下任一条件不满足时均使用原实现：

• 模型未声明当前 graph input layout capability；
• 非 NPU 或 ACL graph/feature gate 关闭；
• multi-sequence；
• speculative depth 不在 MTP3–5；
• stable source address、graph key、block-table width 或 tensor layout 不匹配。

因此 Kimi、DeepSeek、DFlash 以及其他尚未适配的模型不会误入 Qwen3.5 的 fast path。